Cuộc đảo chính 1958 và xung đột với Qasim

Ông cùng với Abdel Karim Qasim và các sĩ quan quân đội Iraq khác, Arif là một thành viên của tổ chức bí mật, Các sĩ quan Tự do của Iraq. Giống như Qasim, Arif đã phục vụ trong các cuộc xung đột Ả Rập-Israel năm 1948 không thành công, nơi ông bắt Jenin trong khu vực nay là một phần Bờ Tây của Palestine. Trong mùa hè năm 1958, Thủ tướng Chính phủ Nuri al-Said ra lệnh cho quân đội Iraq dưới quyền Arif giúp đỡ Jordan, là một phần của một thỏa thuận của Liên đoàn Ả Rập.